Look Before You Leap: Distilling Tree Search into Action Evaluation for Frozen VLA Models
三思而后行：将树搜索蒸馏为冻结VLA模型的动作评估
🧭 Agent 动作评估与测试时缩放
Nanjing University · Australian National University · Institute of Automation, Chinese Academy of Sciences · Nvidia
通过MCTS树搜索采集轨迹并蒸馏为轻量Q值模型，解耦动作提案与后果评估，在不微调VLA下显著提升泛化与效率
📌 工作参考价值（4 点）
- Agent 动作解耦范式：将动作生成（VLA）与长期后果评估（Q模型）分离，保持通用模型冻结，仅训练轻量评估器，避免微调带来的泛化能力损失，适用于电商推荐Agent中对话/多步决策的在线动作选择。
- 仿真树搜索蒸馏：利用离线仿真环境或历史日志构建奖励信号，通过MCTS充分探索候选动作空间并收集带回报的轨迹，蒸馏为Q值预测器。在搜索推荐Agent中，可对候选query/文案/策略进行前瞻性评估后再执行。
- 测试时缩放替代模型缩放：通过增加候选动作采样数（如pass@k）和评估器计算来提升性能，比直接扩大模型更具性价比。例如在低延迟要求下，用小模型生成多候选+评估器挑选，超过大模型效果。
- 不确定性正则化Q值：在选择动作时结合不确定性惩罚，平衡探索与利用，可借鉴到多臂老虎机或在线探索推荐场景，用于候选物品/文案的最终择优。